Domain-Specific Hallucination Detection in Large Language Models
领域特定的大语言模型幻觉检测
🧭 LLM幻觉检测与领域自适应
Purdue University Fort Wayne
多信号检测管线结合DeBERTa-v3、MC Dropout与DPO，实现通用与领域自适应幻觉缓解
📌 工作参考价值（4 点）
- 在电商问答、商品描述、推荐理由等 LLM 生成场景，可部署类似“微调 DeBERTa-v3 + MC Dropout + 温度缩放”的反应级幻觉检测器，作为生成内容上线前的置信度闸门；MC Dropout 推理可额外提升准确率但增加延迟，适合异步质检而非实时推荐链路。
- 标注预算有限时，可借鉴其学习曲线结论：25% 训练数据已获 77% 性能，垂直域可先用小样本微调快速验证，再决定是否扩充标注。
- 跨域迁移风险明确：通用域检测器在生物医学域 F1 仅 0.52，域匹配预训练模型微调才明显提升；业务上不能直接复用通用事实性检测器，应使用行业语料继续预训练或微调。
- DPO 用检测器分数作为偏好信号，将 Qwen2.5-0.5B 幻觉率从 85.5% 降至 37.7%，可尝试对推荐文案/客服回复生成器做类似对齐，减少不实信息。